—— 青亭网
其他
索尼下一代XR娱乐设备可能是一款AR一体机
去年，光学专家Karl Guttag曾在一份在SID显示周上展示的论文中，发现了关于索尼在线下AR游戏项目：《捉鬼敢死队新人训练》中使用的一体式AR头显的许多细节，包括：图像源采用高亮度MicroLED，分辨率达1280x768。当时，他曾推断这款AR头显并非采用光波导模组，而且为了保证户外场景的显示效果足够保真，还采用了LCD遮光罩。
而近日，国际光学工程学会（SPIE）也公开了索尼曾在1月的会议上发布的相同论文，以及索尼AR科研人员Hiroshi Mukawa在大会现场对于上述AR头显的进一步详细解析。据悉，原来该头显确实采用了MicroLED图像源，而搭配的光学元件则为光波导，遮光罩部分采用了可调光设计，可将透光度在10%到70%范围内进行设置。
此外，Mukawa还解析了这款头显所配备的多种元件，包括：立体摄像头、6轴IMU传感器、光波导元件、耳机、可调光装置、定制化SoC（用于计算头部姿态、深度、手势、AR定位、3D视觉等）。定制化SoC是索尼全新的技术，其中包含一个基于ARM核心的CPU（Linux系统）、VPU（实时视觉处理单元）、独有的实时操作系统、GPU和显示控制器。
《捉鬼敢死队新人训练》AR游戏
其特点是，透光度可调、支持空间音频、手势识别、实时多人AR内容共享、人体工学设计，它所采用的1：1前后配重设计，被越来越多AR/VR一体机所采用，好处是可提升佩戴舒适度、缓解头显压脸问题。
这似乎一款功能足够强大、设计足够成熟的AR产品，让人不禁期待索尼是否会在不久后向C端正式推出。当然，在那之前索尼可能还需要解决视场角狭窄、价格等方面的问题。不过不用担心，毕竟索尼从事XR研究已经有二十几年了，相信解决这些问题只是时间问题。
开发新款AR眼镜的意义
Mukawa在SPIE 2020上，还分享了索尼在XR领域上的不断探索（甚至是超前的探索）。他表示：索尼在1996年的时候，就已经推出了穿戴式AR观影设备，后来在2011年，又推出采用MicroLED图像源的3D头戴式影院HMZ-T1。一年后，还推出了一款为听力障碍人士设计的AR眼镜，可以在看电影时显示叠加的AR字幕。
2015年，索尼面向开发者推出分体式双目AR眼镜：SmartEyeglass，其主要用途是让开发者去探索AR眼镜的应用场景。这款眼镜的外观酷似现在的Vuzix AR眼镜，分体式设计依然在被许多AR眼镜使用，而且推出四年后Imagination Factory又利用这项技术开发了一款全息智能泳镜模块SwimAR，足以看出索尼在XR技术上的超前。
除此之外，索尼在2016年还推出了PS VR头显，随后又推出了全息光波导显示模组。
Mukawa指出，索尼在近25年左右一直在致力于XR产品的商业化，但在完整的产品布局中，一直缺少那种在室内外都可以使用，且具备像VR那样丰富的交互和沉浸感的AR产品。就这样，全新的AR原型机诞生了，它的流线型外观延续了此前的3D观影设备，黑白的配色颇有PS VR的特色。
那么与以往的AR产品相比，这款全新的头显是如何实现丰富交互的？Mukawa表示：作为一款不受室内外环境限制的交互式、沉浸式AR头显，需要满足4点——透光度足够高、亮度足够高、对比度和色彩鲜艳度足够高、AR空间定位足够精准。为了保证AR的画质，用了MicroLED作为图像源，而支持电子调节的遮光罩则将近一步强化对比度和鲜艳的色彩。
而为了提升AR叠加在真实环境上的稳定性（虚拟图像的定位足够固定，不破坏逼真感），也就是说达到位置不受AR头显移动而改变的效果，目前依然是行业内难以解决的问题。
索尼研发AR延迟补偿方案
为了将AR虚拟图像“固定”在真实环境中，降低定位误差，索尼从时间延迟方向入手，研发出一种延迟补偿解决方案，可将时间定位误差从0.8°降低至0.7°。Mukawa表示：AR定位产生误差的原因可能有三种：位置、时间和光学，其中主要由延迟造成的时间误差是最大影响因素。
而造成延迟的原因，则是因为头显从预测用户头部姿势，到渲染图像的过程需要一段时间，Mukawa将其称之为：预测到光子显示延迟。为了降低这一延迟，索尼利用了时间扭曲技术，即预先渲染图像，然后结合实时的头部姿态预测，快速调整图像位置。
Mukawa进一步解释：除此之外，时间延迟还可从定位、渲染和显示三方面进行分析。通过提升IMU数据采样率，可降低定位延迟，而时间扭曲方案则可降低渲染延迟。另外，进一步的时间扭曲也可以在当前帧内降低显示延迟。甚至可以多次应用时间扭曲来降低延迟提升效率，最高甚至可在一帧中应用十次以上。
为了支持更准确的定位和时间扭曲功能，索尼最新款AR头显采用了视觉处理单元，来降低延迟和时间跳动。
索尼下一款C端XR设备可能是PS AR？
可以看出，索尼为了开发功能完整、性能稳定、设计成熟的AR头显，下了不少功夫。与此同时，PS VR设备已经推出近4年时间，尽管其销量已经突破500万台，但是它作为一款VR产品的年龄已经不小了，有许多功能和技术还有待得到更新（分辨率、手柄定位等方面已经落后于Oculus、HTC Vive等其他主流VR头显）。
视场角示意图（大约）
索尼能否会在PS 5推出之际发布第二代PS VR，一直是玩家们关注和期待的问题，然而索尼方面一直未正面回应。相反，却亮相了这样一款也可以用来玩游戏的AR头显，让人不禁猜测：索尼“PS AR”是否会在PS VR 2之前问世？
当然，尽管这款AR头显看起来已经足够成熟，它还有一些需要解决的难题。Mukawa表示：在索尼营业基地、日本索尼公园限时开放《捉鬼敢死队》AR游戏后，很多体验者对于AR和3D音频的临场感、画质和亮度、多人协作趣味性等给予积极反馈。但同时，头显有限的视场角，也是常常被提起的问题。因为当AR内容超出视场角范围后，会给人一种被切断的感觉，影响体验感，甚至可能会成为打开C端市场的一道门槛。
AR头显狭窄的视场角，一直是难以突破和解决的问题。同样采用光波导技术的HoloLens 2，视场角也仅从上一代的30°x17.5°提升到43°x29°。总之，不仅对于索尼是一大难题，也是整个AR行业的难题。
（END）
推荐阅读
—— 青亭网